OnnxRuntime – 从内存数据中加载onnx模型进行推理
1 从内存中加载onnx模型的必要性 使用OnnxRuntime部署onnx模型时，目前常用的的做法是直接从本地加载onnx模型文件。这种方式在做模型快速部署和测试时操作简单，节省部署时间。但是如果在一个商业项目中使用这种方式部署模型，其他人都可以很轻松的拿到你网络的onnx模型，低阶一点的就是直接…
- OnnxRuntime
- 2023-10-25
OnnxRuntime – Linux配置OnnxRuntime开发环境
之前都是在Windows系统上使用Onnxruntime部署模型，用的Visual Studio配置开发Onnxruntime非常简单，具体的教程可以看我之前发的这篇文章：OnnxRuntime – 模型部署笔记2，在Visual Studio中配置Onnx Rumtime C++开发环境。最近有将…
- OnnxRuntime
- 2023-09-05
OnnxRuntime – 如何部署多个输入和多个输出tensor的onnx模型
1 OnnxRuntime如何部署多个输入和多个输出的模型 1.1 OnnxRuntime仓库问题答疑 这个问题其实在OnnxRuntime的Github下面的FAQ.md文档中直接回答过这个问题，这个问题的链接在这里。 在这个问题的回答中官方还贴心的给出了一个有3个输入和3个输出的模型推理示例代码…
- OnnxRuntime
- 2023-08-24
OnnxRuntime – C++捕获OnnxRuntime中的异常
1 如何捕获OnnxRuntime中的异常 之前在写OnnxRuntime部署模型代码的时候没有写捕获异常的代码，导致推理过程出错就直接崩溃。今天查了一下，在OnnxRuntime中是有异常处理机制的，OnnxRuntime中提供了继承std::exception的结构体Ort::Exception…
- OnnxRuntime
- 2023-08-24
我的开源项目 – 使用OnnxRuntime在CPU端部署RTMPose玩转实时2D姿态估计
1 RTMPose RTMPose论文地址：https://arxiv.org/abs/2303.07399。 RTMPose是一种Top-Down范式的2D姿态估计框架，魔魔魔魔改Simcc，更加轻量化且更加有效，更加具有工业应用特质。 RTMPose的亮点主打的就是工业级别的推理速度和精度，这在…
- 我的项目
- 2023-04-28
OnnxRuntime – 模型部署笔记3，总结OnnxRuntime模型推理流程
1 OnnxRuntime模型推理流程 1.1 OnnxRuntime模型推理流程总体简介 OnnxRuntime模型推理的整个流程主要可以分为2个阶段，分别是初始化阶段、模型推理阶段。 初始化阶段需要依次执行以下任务： 设置env 设置session option，此阶段可以设置session的相…
- OnnxRuntime
- 2023-03-24
Python – 使用onnxruntime加载和推理onnx模型
1 onnxruntime Onnx runtime是一个跨平台的机器学习模型加速器，可以在不同的硬件和操作系统上运行，可以加载和推理任意机器学习框架导出的onnx模型并进行加速。 如要使用onnxruntime，一般通过以下步骤： 从机器学习框架中将模型导出为onnx 使用onnxruntime加…
- 模型部署
- 2022-11-30